Heckler & Koch HK21 sử dụng cơ chế blowback có con quay hãm và bắn với bolt đóng. Bolt được thiết kế để tránh việc bị dội ngược trở lại khi kết thúc chu kỳ nạp đạn vào nòng. Hệ thống khóa hãm của súng gồm hai con lăn được giữ bằng lò xo ấn chắt vào hai rãnh khắc dốc trong thân súng, khi bắn lực ấn sẽ giữ hai con lăn này đứng yên trong một thời gian ngắn lúc áp lực trong nòng rất cao sau đó khi áp lực từ viên đạn tích đủ mạnh nó sẽ đẩy hai con lăn này lùi về sau để tiến hành chu kỳ nạp đạn chống lại lực ấn của lò xo, khi bolt tích đủ động lực để di chuyển thì cũng là lúc áp lực trong nòng đã được giảm xuống mức an toàn. Sau khi chu kỳ nạp đạn hoàn tất hai con lăn này lại được lò xo đẩy trở lại theo dốc rãnh ấn chặt vào khe. Vì hệ thống này không có bộ phận hỗ trợ việc kéo vỏ đạn mà chỉ dựa vào phản lực do thuốc đạn tạo ra ra nên khoang chứa đạn được khắc rãnh để giảm ma sát giúp vỏ đạn di chuyển dễ dàng hơn.

Không giống như các loại súng náy khác của phương Tây cùng thời, súng có nòng súng nằm phía dưới nên việc nạp đạn bị xem là hơi mất công khi dùng dây đạn. Nhưng nó sử dụng bộ phận nạp đạn dạng khối có thể tháo ráp nhanh chóng với việc gắn hay tháo đinh gim để thay khối từ dạng nạp đạn bằng hộp đạn sang dạng sử dụng dây đạn. Nếu sử dụng hộp đạn, HK21 có thể dùng các hộp đạn tiêu chuẩn của dòng súng trường HK cho đến các hộp đạn tròn hai rãnh được thiết kế cho súng. Còn với dây đạn thì súng có thể sử dụng dây dạn nối hay không nối, với dây đạn không nối thì cách duy nhất có thể tháo nó ra là kéo cả dây qua súng còn với dây nối thì có thể tháo ra từng phần. Dây đạn chỉ có thể nạp vào từ phía trái súng. Nút kéo lên đạn nằm phía trên nòng súng bên trái súng và có thể gấp lên phía trước khi không dùng để tiện cho việc di chuyển cũng như nó sẽ không chuyển động khi bắn.

Hệ thống nhắm cơ bản của súng là điểm ruồi và thướng ngắm. Nút chọn chế độ bắn dạng đòn bẩy nằm ở phía trái súng với hai chế độ từng viên và tự động, sau này thêm một chế độ bắn ba viên. Báng súng được làm bằng nhựa và có thể gắn thêm chân chống chữ V có thể gấp lại khi không dùng. Nếu cần tác chiến khi cầm và di chuyển thì một tay cầm chữ I có thể gắn vào. Súng cũng có thể gắn trên các bệ chống ba chân hay trên các phương tiện cơ giới tùy vào nhiệm vụ mà nó được sử dụng.